Khi album đầu tiên + được phát hành năm 2011, Ed Sheeran đã bắt đầu viết các bài hát cho album thứ hai với "One" là bài hát mở đầu,[13] và một bài hát khác đóng vai trò làm bonus track.[14] Sheeran sáng tác cùng Johnny McDaid của Snow Patrol trong những căn phòng khách sạn khi đang cùng nhóm biểu diễn trong chuyến lưu diễn Fallen Empires Tour tại Bắc Mỹ vào năm 2012.[14] Anh cũng sáng tác cùng ca sĩ người Bắc Ireland cũng là người bạn cùng lưu diễn Foy Vance, chấp bút cho khá nhiều bài hát tiềm năng được cho vào trong album.[15] Sheeran quyết định không phát hành album thứ hai vào năm 2012 mà đi theo dấu chân của những nghệ sĩ Anh đồng hương như Adele và One Direction, những người đã "khuấy đảo nước Mỹ".[16] Vào mùa thu năm 2013, Sheeran biểu diễn ba đêm nhạc cháy vé tại Madison Square Garden, kết thúc hai năm rưỡi tập trung vào ghi âm album mới.[17]

Trong một video hậu cảnh của một chuyến lưu diễn, Ed Sheeran có mặt trong phòng thu với Rick Rubin và Pharrell Williams,[18] những người sau đó xác nhận trong các cuộc phỏng vấn rằng đang thực hiện album. Album được dự kiến phát hành vào ngày 17 tháng 2 năm 2014, nhưng đột nhiên bị trì hoãn khi Sheeran có "cơ hội làm việc với Rick Rubin trong hai tháng, điều mà [anh] sẽ không bao giờ từ chối,".[19] Do trước đó đã viết "hàng trăm" bài hát, Sheeran bắt đầu làm việc trong phòng thu với Rubin và họ giảm số bài hát trên xuống 15 bài hát mới sẽ có mặt trong album, ngoại trừ "I See Fire", bài hát được thu âm riêng và phát hành cùng album nhạc phim The Hobbit: The Desolation of Smaug.[20] Sheeran nói rằng anh "khởi đầu việc thu âm một bản acoustic khác, và nó lại chuyển thành một bản thu neo-soul-funk," bởi ảnh hưởng từ việc hợp tác với những nhà sản xuất như Rubin và Benny Blanco đã "khiến [anh] quên đi sự cầu toàn." Có mặt trong phòng thu với Rubin để "thu âm lại toàn bộ các ca khúc" sau hai năm sáng tác chúng ra giúp các bài hát ấy nghe "chân thực và thú vị", ở thời điểm khi Sheeran đang mệt mỏi với chúng,[21] đã trao cơ hội để anh "thực sự hoàn thiện album thay vì chỉ đơn thuần tạo ra nó."[19] Tuy nhiên, việc thực hiện cả album chỉ với Rubin "sẽ khó thành công với các đài phát thanh pop", nên sau khi làm việc với Rubin anh viết các bài hát "I'm a Mess" và "Thinking Out Loud", đều nói về người con gái của anh vào thời điểm đó, cùng một nhà sản xuất khác.[16] Jake Gosling, người đồng sáng tác và sản xuất phần lớn album đầu tay của Sheeran, không hề đặt dấu ấn nào trong album lần này, trong khi những người cộng tác khác bao gồm Gary Lightbody của Snow Patrol và nghệ sĩ dance người Anh, Rudimental.[22]